Мультиагентная адаптивная маршрутизация агентами-клонами на основе многоголового внутреннего внимания с использованием обучения с подкреплением
Аннотация:
Предмет исследования. Регулярным условием, характерным для пакетной маршрутизации, а также задач транспортировки грузов и управления потоками, является изменчивость графа, на котором осуществляется маршрутизация. Это условие учитывают алгоритмы адаптивной маршрутизации, использующие обучение с подкреплением. Однако при значительных изменениях графа существующим алгоритмам маршрутизации требуется полное переобучение. Метод. Предложен новый метод, основанный на мультиагентном моделировании с агентами-клонами, с использованием новой архитектуры нейронной сети с многоголовым внутренним вниманием, которая предобучена в рамках парадигмы обучения с нескольких взглядов. Агент в такой парадигме использует вершину как вход, а его клоны помещены в вершины графа и осуществляют выбор соседа, которому следует передать объект. Основные результаты. Выполнен сравнительный анализ с существующим алгоритмом мультиагентной маршрутизации DQN-LE-routing по следующим этапам: предобучение и симуляция. Для каждого этапа рассмотрены запуски с помощью изменения топологии в процессе тестирования или симуляции. Эксперименты показали, что предложенный метод повышения адаптивности обеспечивает глобальную адаптивность, увеличивая время доставки при глобальных изменениях не более чем на 14,5 % от оптимального. Практическая значимость. Предложенный метод может быть использован для решения задач маршрутизации со сложными функциями оценки пути и динамически меняющимися топологиями графов, например, в транспортной логистике и для управления конвейерными лентами на производстве.
Ключевые слова:
Постоянный URL
Статьи в номере
- Импульсная запись динамических голограмм в кристалле силиката висмута при изменении длины волны лазерного излучения
- Гибридный эндоскоп с телевизионной и многоспектральной обработкой изображений для диагностики рака внутренних органов
- Моделирование композитного волноводного голографического дисплея
- Применение методов инфракрасной спектроскопии в исследовании составов для проклейки бумаги
- Методика оптимизации распределения плотности пикселов по зоне наблюдения
- Оценка ошибки и разработка методики компенсации погрешности позиционирования оборудования с числовым программным управлением
- Компенсация внешних возмущений по выходу для класса линейных систем с запаздыванием в канале управления
- Люминесцентный метод исследования роста квантовых точек AgInS2
- Особенности импульсного лазерного напыления тонких пленок InGaAsN в атмосфере активного фонового газа
- Нахождение распределения электронов в сверхрешетках AlGaAs/GaAs
- Спектральные и кинетические свойства квантовых точек сульфида серебра во внешнем электрическом поле
- Влияние наноразмерных горизонтальных неоднородностей на послойный анализ поверхности методом рентгеновской фотоэлектронной спектроскопии
- Органические светоизлучающие диоды с новыми красителями на основе кумарина
- Изготовление и характеристика гибридного композита Al6082/SiC/порошок рисовой шелухи, получаемого методом фрикционного перемешивания
- Многопутевая безопасная маршрутизация для обнаружения атаки с захватом узла в беспроводной сенсорной сети
- Метод документирования архитектурных решений вычислительных платформ
- Повышение точности распознавания внесловарных слов для интегральной системы автоматического распознавания русской речи
- Метод мониторинга состояния элементов киберфизических систем на основе анализа временных рядов
- Применение волновой модели текста к задаче сентимент-анализа
- Автоматизированная оценка параметров электрокардиограмм в условиях пандемии COVID-19
- Совместное обучение агентов и векторных представлений графов в задаче управления конвейерными лентами
- Моделирование процессов переноса излучения в газожидкостных пенах
- Статистическая оценка влияния величины сигнал/помеха на погрешность измерения параметров акустической эмиссии
- Моделирование процесса стационарного термоотражения для измерения теплопроводности материалов
- Математическое и компьютерное моделирование однорядных и двухрядных шестилопастных винтокольцевых движителей
- Дифференциально-разностная модель теплопереноса в твердых телах с использованием метода параметрической идентификации